Étude asymptotique d'une chaîne de Markov à n états

Propriété

Soit une chaîne de Markov  \((X_k)\) à  \(n\)  états, de matrice de transition associée \(T\) . Il existe au moins une distribution invariante de cette chaîne de Markov.

Théorème

Soit une chaîne de Markov  \((X_k)\) à  \(n\) états, de matrice de transition associée \(T\) , et de distribution initiale \(X_0\) . Si la matrice de transition  \(T\) ne contient aucun zéro, alors il existe une unique distribution invariante de cette chaîne de Markov et la suite de matrices lignes  \((X_k)\) converge vers cette distribution invariante.

Remarque  

La condition « la matrice de transition ne contient aucun zéro » est une condition suffisante
d’existence et d’unicité de la distribution invariante, mais ce n’est pas une condition nécessaire (elle assure que tout état est atteignable à chaque étape du processus).

Une autre condition suffisante est qu’il existe un entier strictement positif  \(p\) tel que  \(T^p\) ne contient aucun zéro.